Houldsworth sinh ra ở Henley-on-Thames và bắt đầu sự nghiệp với Swindon Town năm 1934. Ông thi đấu 34 trận cho Swindon trước khi gia nhập Stoke City vào tháng 4 năm 1935. Ông từng giữ sạch lưới trước Grimsby Town trong trận đầu tiên cho Stoke, để lọt lưới 5 bàn trước Preston North End và không được giữ lại.[1] Ông sau đó gia nhập Ipswich Town được sử dụng như cầu thủ dự bị và rời câu lạc bộ năm 1938 để đến Reading mà không có trận ra sân nào.[1] Tại Reading ông thi đấu 8 trận trước khi thực hiện nghĩa vụ trong Thế chiến thứ II. Trong chiến tranh ông làm khách mời cho Southampton,[1] có 21 trận ở War League and Cup từ năm 1941 đến năm 1944.[2]